Recent work has shown that fine-tuning large pre-trained language models on a collection of tasks described via instructions, a.k.a. instruction-tuning, improves their zero and few-shot generalization to unseen tasks. However, there is a limited understanding of the performance trade-offs of different decisions made during the instruction-tuning process. These decisions include the scale and diversity of the instruction-tuning benchmark, different task sampling strategies, fine-tuning with and without demonstrations, training using specialized datasets for reasoning and dialogue, and finally, the fine-tuning objectives themselves. In this paper, we characterize the effect of instruction-tuning decisions on downstream task performance when scaling both model and benchmark sizes. To this end, we create OPT-IML Bench: a large benchmark for Instruction Meta-Learning (IML) of 2000 NLP tasks consolidated into task categories from 8 existing benchmarks, and prepare an evaluation framework to measure three types of model generalizations: to tasks from fully held-out categories, to held-out tasks from seen categories, and to held-out instances from seen tasks. Through the lens of this framework, we first present insights about instruction-tuning decisions as applied to OPT-30B and further exploit these insights to train OPT-IML 30B and 175B, which are instruction-tuned versions of OPT. OPT-IML demonstrates all three generalization abilities at both scales on four different evaluation benchmarks with diverse tasks and input formats -- PromptSource, FLAN, Super-NaturalInstructions, and UnifiedSKG. Not only does it significantly outperform OPT on all benchmarks but is also highly competitive with existing models fine-tuned on each specific benchmark. We release OPT-IML at both scales, together with the OPT-IML Bench evaluation framework.

我们提出了一种方法，用于估计具有单个RGB图像的可用3D模型的刚性对象的6DOF姿势。与基于经典对应的方法不同，该方法可以预测输入图像的像素的3D对象坐标，该建议的方法可以预测3D对象坐标在相机frustum中采样的3D查询点。从像素到3D点的移动，这是受到3D重建方法的最新PIFU式方法的启发，可以对整个对象（包括（自我）遮挡部分）进行推理。对于与与像素对齐的图像功能相关的3D查询点，我们训练完全连接的神经网络来预测：（i）相应的3D对象坐标，以及（ii）签名到对象表面的签名距离，首先定义仅适用于地表附近的查询点。我们将该网络实现的映射称为神经通信字段。然后，通过Kabsch-Ransac算法从预测的3D-3D对应关系中稳健地估计对象姿势。所提出的方法在三个BOP数据集上实现了最先进的结果，并且在咬合挑战性案例中表现出了优越。项目网站在：linhuang17.github.io/ncf。

了解多媒体内容中描述或显示的事件彼此相关是开发可用于真实世界媒体的强大人工智能系统的关键组成部分。尽管许多研究专门用于文本，图像和视频域中的事件理解，但没有一个研究探索事件跨域中经历的复杂关系。例如，新闻文章可能会描述“抗议”事件，而视频显示“逮捕”事件。认识到视觉“逮捕”事件是更广泛的“抗议”事件的一个子事件，这是一个具有挑战性但重要的问题，但前面的工作尚未探讨。在本文中，我们提出了多模式事件关系关系的新任务，以识别这种跨模式事件关系。我们贡献了一个大规模数据集，该数据集由100K视频新文章对组成，以及密集注释的数据的基准。我们还提出了一种弱监督的多模式方法，该方法将来自外部知识库（KB）的常识性知识整合在一起，以预测丰富的多模式事件层次结构。实验表明，我们的模型在我们提出的基准上优于许多竞争基线。我们还对模型的性能进行了详细的分析，并建议未来研究的方向。

即使是最大的神经网络也会出错，随着世界的变化，曾经纠正的预测可能变得无效。模型编辑器对基础模型（预训练）模型的行为进行本地更新，以注入更新的知识或纠正不良行为。现有的模型编辑已经显示出希望，但也没有足够的表现力：他们难以准确地对编辑的预期范围进行建模（受编辑影响的示例），从而导致与编辑相关的测试输入的预测不准确，并且经常在之后完全失败。许多编辑。作为一个较高容量的替代方案，我们建议使用检索型反面模型（SERAC）提出半参数编辑，该模型（SERAC）存储在明确的内存中，并学会对它们进行推理以根据需要调节基本模型的预测。为了实现对模型编辑器的更严格评估，我们介绍了三个具有挑战性的语言模型编辑问题，基于问题回答，事实检查和对话生成。我们发现，只有SERAC才能在所有三个问题上实现高性能，从而超过了现有的方法，可以通过大量利润进行模型编辑。代码，数据和其他项目信息将在https://sites.google.com/view/serac-editing上提供。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

大型语言模型经常经过数十万个计算天的训练，已经显示出零和少数学习的显着功能。鉴于它们的计算成本，如果没有大量资本，这些模型很难复制。对于通过API可用的少数产品，没有访问完整的模型权重，因此很难学习。我们提供开放训练的预训练变压器（OPT），这是一套仅解码器预训练的变压器，范围从12500万到175b参数，我们旨在与感兴趣的研究人员完全和负责任地分享。我们表明，OPT-175B与GPT-3相当，而仅需要1/7碳足迹才能开发。我们还释放了日志，详细介绍了我们面临的基础架构挑战，以及用于尝试所有发布模型的代码。

联合学习（FL）已成为跨无线边缘设备分配机器学习的流行方法。在这项工作中，我们考虑在设备 - 服务器通信延迟和设备计算异质性下优化FL的模型性能和资源利用之间的权衡。我们提出的StofedDelav算法将本地 - 全局模型组合器包含到FL同步步骤中。我们理论上表征了Stofeddelav的收敛行为，并获得了最佳的组合权重，这考虑了每个设备的全局模型延迟和预期的局部梯度误差。然后，我们制定了一种网络感知优化问题，该问题调整设备的小靶尺寸，以共同最大限度地减少能量消耗和机器学习训练丢失，并通过一系列凸起近似来解决非凸面问题。我们的模拟表明，当调整小批准和组合重量时，STOFeddelav在模型收敛速度和网络资源利用方面优于目前的艺术。此外，我们的方法可以减少模型训练期间所需的上行链路通信轮的数量，以达到相同的精度。

最近延伸预留下芬特的神经模型的神经模型继续实现新的最新导致对话状态跟踪（DST）基准的联合目标准确性（JGA）。但是，我们调查了他们的稳健性，因为它们在JGA中显示了急剧下降，以便与现实扰动的话语或对话框流动的对话。通过清单（Ribeiro等，2020），我们设计了一个名为CheckDST的度量集合，促进DST模型的比较，通过测试具有增强测试集的众所周知的弱点来促进革命性的全面尺寸。我们使用CheckDST评估最近的DST模型，并认为模型应该更全面地评估，而不是在JGA上追求最先进的JGA，因为更高的JGA不保证更好的整体稳健性。我们发现基于跨度的分类模型是有弹性的，不合适的命名实体，但对语言品种不强大，而那些基于自回归语言模型的人概括为语言变化，但往往会记住命名实体并往往是幻觉。由于它们各自的弱点，两种方法都不适合现实世界部署。我们认为CheckDst是未来研究的一个有用指南，用于开发面向任务的对话模型，体现了各种方法的优势。

我们提出了一种培训具有二进制权重的深神经网络（DNN）的新算法。特别是，我们首先将培训二元神经网络（Binns）作为彼得纤维优化实例的问题施放，随后构建这种携手节目的灵活放松。由此产生的训练方法与若干培训箱的几种现有方法共享其算法简单性，特别是在BinaryConnect中成功使用的直通梯度估计器和随后的方法。实际上，我们所提出的方法可以被解释为原始直通估计器的自适应变型，其有条件地（但不总是）起作用在误差传播的后向通过中的线性映射。实验结果表明，与现有方法相比，我们的新算法提供了有利的性能。

在神经形态计算中，人工突触提供了一种基于来自神经元的输入来设置的多重导电状态，类似于大脑。可能需要超出多重权重的突触的附加属性，并且可以取决于应用程序，需要需要从相同材料生成不同的突触行为。这里，我们基于使用磁隧道结和磁畴壁的磁性材料测量人造突触。通过在单个磁隧道结下面的畴壁轨道中制造光刻槽口，我们实现了4-5个稳定的电阻状态，可以使用自旋轨道扭矩电气可重复控制。我们分析几何形状对突触行为的影响，表明梯形装置具有高可控性的不对称性重量，而直线装置具有较高的随机性，但具有稳定的电阻水平。设备数据被输入到神经形态计算模拟器中以显示特定于应用程序突触函数的有用性。实施应用于流式的时尚 - MNIST数据的人工神经网络，我们表明梯形磁突出可以用作高效在线学习的元塑功能。为CiFar-100图像识别实施卷积神经网络，我们表明直流突触由于其电阻水平的稳定性而达到近乎理想的推理精度。这项工作显示多重磁突触是神经形态计算的可行技术，并为新兴人工突触技术提供设计指南。